onPanda：基于 Token 级纠错的 LLM 与 Agent 对齐数据高效标注
🧭 LLM 对齐数据标注 · token-level correction
StepFun · Xiamen University
用 token 级定位-纠错-续写循环高效生成 on-policy 对齐数据，标注时间中位数降低 52%
📌 工作参考价值（4 点）
- 生成式推荐/对话式 Agent 的 SFT 数据可由模型续写产生：先让模型生成候选回复，标注员只做 token 级首错纠正，后续自动截断重新生成，大幅减少人工整段改写，同时保持数据接近模型自身分布。
- token 级纠错记录提供「前缀 - 错 token - 正确 token」的孪生样本，可直接构造细粒度偏好对或 token 级 loss，比整句 preference 更有定位能力，适合电商导购话术、搜索词改写等短文本生成的调优。
- 对 Agent 轨迹标注可借鉴其交互思路：在 trajectory 回放中定位第一个错误 step/token，修正后继续 roll-out，能获得低成本 on-policy 轨迹数据并保留后续状态分布，适合工具调用、多轮商品推荐对话的数据采集。
- 工程上可参考其候选 token 展示与编辑结合的方式：先给出模型 top-k token 供快速点选，无法匹配时再自由输入，兼顾标注效率与灵活性；概率颜色编码帮助标注员快速定位低置信 token。
PLC-DPO：噪声与模糊偏好下的后验标签校正 DPO
🧭 LLM 偏好优化 · 标签修正
KAIST AI · KENTECH
利用校准的策略-参考边际把偏好对路由为 clean/flip/tie，主动校正标签方向与强度，提升 DPO 在噪声和模糊偏好下的鲁棒性
📌 工作参考价值（4 点）
- 若业务中用 DPO/RLHF 对齐 LLM 排序器、广告文案生成或 Agent 行为，可引入基于 policy-reference margin 的在线路由：margin 接近 0 或反向时按 tie/flip 处理，而不是硬训，能降低点击/转化等隐式反馈中的误标和争议样本损伤。
- 不必在数据清洗阶段一次性过滤可疑样本，而是在训练中动态估计并修正监督方向/强度；对搜索推荐中的点击 vs 未点击、或 LLM-as-judge 分歧样本，可构造 robust DPO 损失，减少 false negative/positive 影响。
- 对于电商多模态内容或 Agent 行为偏好冷启动，tie 路由提供更平滑监督，适合标注分歧较大的场景；可先做 human disagreement 分析，再设定 flip/tie 阈值。
- PLC-DPO 可直接作为 loss 层替换现有 DPO，无需改数据或模型结构，适合已部署 DPO/RLHF 的团队快速验证。
分组熵控制的策略优化
🧭 LLM强化学习训练 · 分组熵控制
Shanghai AI Laboratory
提出分组熵控制优势塑造方法，解决多任务 RL 训练中探索-利用失衡与优势不可比问题
📌 工作参考价值（5 点）
- 面向电商/Agent从业者的可借鉴点：
- 训练多任务推荐 Agent 时，不同任务（如商品推荐、对话引导）的探索需求不同，可引入分组熵控制，对低熵任务（已学好的模板）适度压制正优势以减少过度利用，对高熵任务（新品类）保留负优势以鼓励探索，避免全局熵调度的僵化。
- 若在推荐对话 Agent 中采用 GRPO 类算法，GEPO 只需在已有分组样本上计算组熵并修正优势，改动微小，适合作为轻量级工程优化直接集成。
- 自适应阈值的思路（用历史熵移动平均动态决定何时干预）可迁移到推荐系统的 Bandit/RL 策略中，实时调整探索系数，无需手动调参。
- GEPO 不引入额外模型，仅利用现有采样组统计量，对线上推理无侵入，符合生产环境对低 overhead 的要求。
你的鼠标和眼睛悄悄泄露偏好：基于隐式反馈的LLM对齐
🧭 隐式反馈LLM对齐 · 多模态行为信号
University of Massachusetts, Amherst · York University
利用鼠标轨迹与眼动追踪等隐式用户信号，显著提升LLM对齐的奖励模型准确率与DPO优化效果
📌 工作参考价值（4 点）
- 对话式推荐/Agent交互中植入隐式信号收集：在电商导购Agent或搜索推荐对话界面中，可低成本采集鼠标悬停、停留时长、滚动行为、甚至眼动数据（如用户授权），作为比显式点击/购买更稠密的偏好信号，用于细粒度reward建模。
- 奖励模型融合trick：使用随机森林等非线性模型融合隐式行为特征与文本特征，比纯文本reward模型提升9个百分点，可直接迁移到推荐系统中的用户意向打分或排序融合。
- DPO训练中注入隐式反馈权重：将基于鼠标/眼动的偏好得分作为DPO优化中的似然权重或对比对的选择依据，类似rDPO with NLL，可让生成结果更贴合真实用户关注模式。
- 数据收集与隐私平衡：论文所用Mechanical Turk的webcam眼动方案成本较低，电商搜索/Agent产品可考虑在用户知情同意下进行小规模采集，用于对齐模型的持续优化。
Mult-DPO：面向推荐系统的多项式直接偏好优化
🧭 生成式推荐 · 多正例偏好优化 ★ 深度解读
University of Virginia · Netflix · Cornell University
提出多项式替代似然，将 DPO 扩展到多正例集合式偏好对齐，并证明其为 marginalized PL 损失的上界
📌 工作参考价值（4 点）
- 对于包含会话、行为序列等场景，用户通常有多个正反馈（点击/喜欢），可直接用 Mult-DPO 同时建模多个正例与负例，无需成对损失，时间复杂度从 O(K^2) 降至 O(K)。
- 训练时利用 KV-cache 复用 prompt 部分，使得单步计算开销与 vanilla DPO 相当，适合部署在电商/对话推荐中序列较长、候选物品较多的场景。
- 硬负例采样能收紧损失上界，可借鉴 SPRec 风格按 epoch 动态采样高权重负例，进一步强化对齐效果。
- 若存在多级偏好（如评分 1-5），可直接用 Mult2-DPO 保留精细偏好结构，提升排序质量，适合替换传统 BPR 损失。
DV AO：面向多奖励强化学习的动态方差自适应优势优化
🧭 多奖励强化学习 · 优势组合优化 ★ 深度解读
Alibaba Cloud Computing
动态按组内奖励方差自适应调整多目标优势权重，解决 GRPO 多奖励标量化的幅度爆炸与目标孤立问题
📌 工作参考价值（4 点）
- 多目标奖励的可学习聚合：在电商推荐/Agent 多目标优化（如准确率+多样性+延迟）中，现有做法往往直接固定权重标量化奖励或优势，导致某一目标梯度主导。DV AO 提供了完全数据驱动的自适应加权方案，无需人工调参，直接基于每个目标的组级方差动态平衡信号强度，可应用于生成式推荐的 multi-reward 对齐。
- 稳定训练的技巧：DV AO 从理论上保证了优势幅度低于直接奖励组合，避免策略梯度爆炸。在 RL 微调推荐模型或 Agent 策略时，可直接用于处理准确度、格式合规、长度等冲突目标，防止训练崩溃。
- 交叉目标正则化机制：通过优势计算对单一目标梯度的重新缩放，隐式地促进目标间协同优化，避免某个简单目标淹没困难目标。这对 Agent 多轮任务中同时优化任务成功率与工具调用格式很有价值。
- 轻量实现：DV AO 不引入额外可学习参数，完全基于组内方差的后计算，易于集成到现有的 GRPO 或 PPO 训练流程中，适合快速实验。